Induction in Both Directions: A Mechanistic Analysis of In-Context Learning in Masked Diffusion Language Models
掩码扩散语言模型的双向归纳电路与隐式时间步分析
🧭 扩散语言模型机制分析 · 上下文学习
National University of Science and Technology POLITEHNICA Bucharest
发现扩散语言模型用双向归纳电路实现上下文学习，且以全局掩码比例作隐式时间步
📌 工作参考价值（4 点）
- 对于电商搜索中的序列建模，可借鉴双向上下文访问的思路：在允许未来信息的场景（如离线重排）下，利用扩散模型隐式地融合下文，提升对用户意图的推断准确性。
- 隐式时间步的发现提示：在设计扩散式推荐或生成式检索时，可以省略显式时间步嵌入，让模型从噪声比例中自学习去噪进度，简化工程实现。
- 归纳电路的分析方法（激活修补、因果追踪）可以迁移到推荐模型的解释性工作中，例如定位关键注意力头，帮助 debug 召回结果中的主观偏差。
- 当仅左上下文可用时，DLM 的 induction 能力并不优于自回归模型，因此若线上真实场景只能获取左侧历史行为，盲目切换生成范式未必带来增益，需根据上下文可获取性选择架构。